ARLoop：带注意力残差的完全开源预训练循环 Transformer
🧭 高效 LLM 预训练 · 循环 Transformer ★ 深度解读
The Ohio State University · Saarland University
提出 ARLoop，用滑动窗口深度注意力改进循环 Transformer，1.2B/0.5T 模型超过 Huginn-3.5B 并接近 Qwen3.5-2B
📌 工作参考价值（4 点）
- 循环 Transformer 是低成本 LLM 基座的可选路线：如果你的业务要用 LLM 做 Agent/生成式推荐，但 GPU 预算有限，ARLoop 这种「共享层 + 多次 recurrence」的架构可以显著降低参数量，同时保留较深的有效计算图；尤其数学/代码类推理任务收益明显。
- 滑动窗口深度注意力是可直接复用的 trick：在循环结构中，每个子层只用 embedding + 最近 3 个 residual block 做深度注意力，比全量历史更省显存/带宽，吞吐损失约 10%，但效果不降反升；这适合你自研深层共享模型时直接套用。
- 固定 recurrence 训练，推理时不要超过训练最大值：论文发现动态 recurrence 不如固定值；推理时 recurrences 超过训练最大值也无法继续涨点。线上 serving 时可以把最大 recurrences 固定到训练值，避免无效计算。
- Value residuals 对深层循环模型稳定性很重要：尤其搭配 Sandwich Norm 时，没有 value residuals 会出现表示坍塌、训练失败；如果你自己训练很深的共享层模型，可以加入 gated token embedding 注入来稳定训练。
Accordion：通过固定前缀层循环实现弹性深度推理
🧭 LLM 弹性深度推理 · 固定前缀层循环 ★ 深度解读
Tsinghua University · Baidu Inc.
一个 MoE 模型通过固定前缀层循环支持五个推理预算，中间预算以约 21-24% 额外时间捕获 89% 深度增益
📌 工作参考价值（4 点）
- 需要线上不同 latency/cost 档位时，可训练一个模型支持多个推理预算，通过固定前缀层循环共享权重，避免维护多个模型；推理时按请求选择预算，FLOPs 和 KV cache 线性扩展。
- 训练时每个 micro-batch 均匀采样一个预算路径，只优化该路径 NTP，无需跨预算一致性损失；第二遍用 zero-initialized tanh gates，初始为恒等映射，训练稳定。预算无关参数优于 budget-conditioned 参数。
- 多领域能力整合可采用参数组加权合并专家，再做 budget-matched 多教师在线蒸馏（MOPD），能保留各预算增益并提升整体指令遵循，适合搜索推荐中的 Agent 多任务模型合并。
- 资源敏感场景优先选中间预算（如 k=6）：以约 21-24% 额外 TPOT 捕获约 89% 深度增益，推荐系统在线服务可按此设计弹性档位。
测试时迭代扩展至数万步的循环原生注意力残差
🧭 循环 Transformer 测试时迭代扩展
The Hong Kong Polytechnic University · Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences · Peng Cheng Laboratory · University of Chinese Academy of Sciences · ELLIS Institute Tübingen
提出 InfiLoop 循环原生残差连接，使 7M 模型在数万次测试时迭代中保持推理提升，Sudoku 97.9%，ARC-AGI-2 13.6% pass@2
📌 工作参考价值（4 点）
- 对 Agent 多轮推理/工具调用场景：借鉴 InfiLoop 的循环原生残差，在 agent 状态更新中引入 content-based weighting + learned temporal decay，保留关键中间推理、抑制噪声 proposal，避免长链路中正确中间状态被覆盖。
- 工程实现上：exact streaming recurrence 使聚合内存恒定，适合在线推理和流式数据处理；在电商推荐中可用于实时会话状态维护或长期用户行为序列建模，避免循环步数增加带来的记忆膨胀和误差累积。
- 测试时扩展以小参数（7M）获得显著推理提升，对资源受限的线上推理服务有参考价值：可以设计轻量循环模块，通过增加循环步数而非模型参数来提升复杂 query 理解或多步策略决策能力。
- 普通 residual connection 在 loop 中可能不够，需要为循环结构单独设计门控残差；具体 trick 是学习每个新更新接受多少、保留多少，而非简单加权平均。
循环 MoE 超越两轮的可扩展训练方案
🧭 循环 MoE 深度扩展与训练稳定化 ★ 深度解读
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences · Peng Cheng Laboratory · University of Chinese Academy of Sciences · The Hong Kong Polytechnic University · University of Surrey
LOOM 用残差缩放、输入重注入、逐循环路由与 Looping Residual 让 MoE LLM 稳定循环 9-12 轮并优于基线
📌 工作参考价值（4 点）
- 在生成式推荐或 Query 生成中若采用 Looped LLM / 共享层 MoE，可复用 γ=λ/(H√M) 的残差缩放和逐轮输入重注入，防止多轮迭代后表示漂移与训练发散，尤其适合反复生成候选 query 或语义 ID。
- 在 FLOPs 受限的在线推理中，建议共享专家但为每轮循环配置独立 router：只增加少量路由参数，就能避免专家选择坍缩，让每轮实际激活不同 expert，提升循环计算收益。
- Looping Residual 以固定衰减 EMA 仅存一个累加张量就能保留跨循环历史，适合在低延迟排序/召回中叠加多轮细化信号，显存开销可忽略。
- 训练深层循环模型时采用分段反向传播（每 K=3 循环为一段、段间 detach），峰值显存几乎不随循环数增长，训练更快更稳，值得 GPU/NPU 受限的业务复现。
模型增长、递归与边界算子如何影响 scaling 指数
🧭 模型架构与训练效率 scaling 分析
New York University · Q Labs
发现架构干预可改变预训练 scaling 指数，循环深度带来计算效率随规模递增的指数级收益
📌 工作参考价值（4 点）
- 在算力受限的推荐/广告大模型训练中，可尝试循环深度（looped transformer）实现参数共享下的模型增长：训练时逐步增加循环次数，比单纯堆叠层更省显存，且计算效率随规模提升。
- 边界算子（boundary operator）对 vanilla transformer 即插即用，仅通过归一化并注入前一个 block 就能获得递增的计算效率增益，适合作为轻量级改进直接迁移到现有架构。
- 数据受限、多 epoch 场景下，循环深度有正则化效果，推荐在用户行为序列等重复训练数据上优先增加循环次数而非扩大模型宽度。
- 核心结论：架构干预可以改变 scaling 指数，意味着不再只依赖增大模型和数据，通过设计递归或注入结构可能获得指数级收益，值得在排序/召回大模型预训练中探索。
无需训练的循环 Transformer：冻结模型推理时循环层块提升性能
🧭 推理时循环复用层块
在冻结的预训练模型上，通过阻尼子步骤循环中间层块，无需微调或架构改动即可显著提升推理性能
📌 工作参考价值（4 点）
- 可直接对现网 LLM（如 Qwen、DeepSeek 等）在推理时套用循环包装器，无需重新训练或微调，适合快速上线和成本敏感场景。
- 循环中间若干层并除以迭代次数的阻尼策略，可作为一种轻量级「深度增强」手段，在低延时约束下提升模型推理质量，例如用于电商 Agent 的多步推理、复杂指令遵循等。
- 该方法不修改模型权重和架构，可配合现有推理优化（KV cache、量化等），可在已有工程框架中低成本实现。
- 提供的层选择策略（中间层块）和迭代次数阻尼关系，可作为超参直接迁移到其他模型上，用于微调受限环境下的性能补强。